Your SlideShare is downloading. ×
Mineração de padrões frequentes na base do Netflix
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Mineração de padrões frequentes na base do Netflix

1,136
views

Published on

Uso do algoritmo ECLAT para mineirar regras de associação relevantes no contexto de sistemas de recomendação sobre a base do Netflix.

Uso do algoritmo ECLAT para mineirar regras de associação relevantes no contexto de sistemas de recomendação sobre a base do Netflix.

Published in: Travel

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,136
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
24
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Padrões Frequentes na base do Netflix Lucas Cunha de Oliveira Miranda Matheus Silva Vilela
  • 2. Proposta • Aplicar técnicas de mineração de dados sobre uma base real para caracterização. • Identificar filmes que sejam bons, médios e ruins em termos da popularidade global e segundo as preferências individuais. • Utilizar algoritmos para obtenção de regras de associação relevantes e que possam ser empregadas na tarefa de recomendação.
  • 3. A Base do Netflix O Netflix é um serviço online de aluguel de filmes. A empresa propõe o "Desafio Netflix", que concede um prêmio de 1 milhão de dólares para a equipe que apresentar um sistema de recomendação que seja 10% melhor que o recomendador do site. A base com informações dos filmes, usuários e qualificações está disponível em: www.netflixprize.com
  • 4. Caracterização da Base A base de dados do Netflix foi coletada entre Outubro de 1998 e Dezembro de 2005. Algumas características identificadas: Atributo Descrição Datas No formato YYYY-MM-DD, entre outubro de 1998 e dezembro de 2005. Filmes 17770 filmes com informações de data de lançamento e título. Usuários 480189 usuários com identificadores entre 1 e 2649429. Qualificações Mais de 100 milhões valores entre 1 e 5.
  • 5. Caracterização da Base Distribuição do número de qualificações: • Por usuário
  • 6. Caracterização da Base Distribuição do número de qualificações: • Por filme:
  • 7. Caracterização da Base Distribuição dos valores de qualificação:
  • 8. Qualificações • Dificuldade em se exprimir a preferência e o gosto do usuário (informação muito subjetiva). • O Netflix utiliza um sistema com 5 valores possíveis. • A preferência do usuário e a maneira de qualificar mudam com o tempo. • Usuários qualificam com intenções diferentes. • Como considerar tudo isso?
  • 9. Qualificações As qualificações foram substituídas pelo valor fornecido na fórmula: r’ = (r - )  Exemplo: Qualificações do usuário A: {1, 2, 1, 3, 1}. Média: 1.6 Desvio padrão: 0.8 Qualificações do usuário B: {4, 3, 5, 4, 5, 5, 4, 4}. Média: 4.25 Desvio padrão: 0.661 Para um filme novo, ambos qualificam com valor 3. Qualificação calculada para o usuário A: (3-1.6)/0.8 = 1.75 Qualificação calculada para o usuário B: (3-4.25)/0.661 = -1.891
  • 10. Pré-processamento • Foram geradas listas de qualificações por usuário e listas de qualificações por filmes. • As qualificações foram modificadas para considerar o comportamento de qualificar do usuário. • Calculou-se a média e o desvio padrão das qualificações para a sequência de qualificações de cada usuário e para a sequência de qualificações de cada filme. • Os arquivos gerados, os desvios padrões e a distribuição de médias foram utilizados para dividir os filmes em categorias.
  • 11. Experimentos • Aplicação de um algoritmo de mineração de regras de associação para obtenção de relações relevantes para a tarefa de mineração. • Divisão da base em um conjunto de transações formadas por filmes "bons" e um conjunto de transações formadas por filmes "ruins". • Definição dos conjuntos segundo critérios de popularidade global e pela preferência individual. • Definição da transação.
  • 12. Regras de Associação Seja I = {i1, i2, i3, ...} um conjunto de atruibutos. Seja D = {t1, t2, t3, ...} um conjunto de transações. Cada item de D é formado por um subconjunto de I. Uma regra de associação é uma implicação da forma X → Y, onde X, Y ⊆ I e X ∩ Y = Ø. A regra significa que, se X ocorre em uma transação, é provável que Y ocorra na mesma transação. Essas regras podem ser usadas em sistemas de recomendação de filmes.
  • 13. Algoritmo ECLAT • Algoritmo para encontrar padrões frequentes. • Decompõem espaço de busca em partições independentes: partições induzidas pelo prefixo do padrão. o Padrões que começam com o prefixo {A} pertencem a uma partição, padrões que começam com o prefixo {B} pertencem a outra partição. • Cada partição pode ser processada separadamente. o Apenas padrões de tamanho k-1 pertencentes à uma mesma partição precisam ser mantidos simultaneamente em memória durante a enumeração dos padrões de tamanho k. o Consumo de memória é reduzido significantivamente.
  • 14. Transações • Uma transação é definida como sendo formada pelos filmes qualificados por um mesmo usuário. • Para cada usuário, existem 2 transações possíveis: o Filmes bons qualificados pelo usuário; o Filmes ruins qualificados pelo usuário; • A divisão de quais filmes, dentre o conjuntos de filmes qualificados por um usuário, fazem parte destas duas transações pode ocorrer segundo dois critérios: o Popularidade Global o Preferências do usuário
  • 15. Divisão pela Popularidade Global • Distribuição das médias das classificações por filme:
  • 16. Divisão pela Popularidade Global • Cálculo da média e do desvio padrão da distribuição:   o Filmes com valores acima de (média+desvio padrão) são considerados bons; o Filmes com valores abaixo de (média-desvio padrão) são considerados ruins; o Demais filmes são considerados médios.
  • 17. Divisão pela Popularidade Global • 5 Melhores filmes: o Lord of the Rings: The Return of the King: Extended Edition o The Lord of the Rings: The Fellowship of the Ring: Extended Edition o Lost, Season 1 o Lord of the Rings: The Two Towers: Extended Edition o Veronica Mars: Season 1 • 5 Piores filmes: o Avia Vampire Hunter o It's All About Love o The Worst Horror Movie Ever Made o Vampire Assassins o Underground Comedy Movie
  • 18. Divisão pela Preferência do usuário • Cálculo da média e do desvio padrão das qualificações de cada usuário: o Filmes com valores acima de (média+desvio padrão) são considerados bons para dado usuário; o Filmes com valores abaixo de (média-desvio padrão) são considerados ruins para dado usuário; o Demais filmes são considerados médios. o Como esta estratégia considera a preferência individual, um mesmo filme pode fazer parte de transações referentes a usuários diferentes em ambos os grupos.
  • 19. Resultados • Foram executados diversos testes para diferentes valores de confiança e suporte. • Foram encontradas muitas relações interessantes. • A divisão dos filmes pelo critério de popularidade global resultou em muitas regras que relacionam filmes de gêneros bastante diferentes. • A divisão dos filmes segundo a preferência individual também revelou regras pouco convencionais, mas gerou muitas relações intuitivas. • As regras intuitivas sugerem que o método de geração é, provavelmente, mais confiável. Mas as regras inusitadas são mais interessantes para um sistema de recomendação, já que não são óbvias e, portanto, são de difícil obtenção.
  • 20. Resultados Exemplos de regras extraídas: Em 92,49% das vezes que os usuários gostaram do filme "Lord of the Rings: The Fellowship of the Ring" e do filme "Lord of the Rings: The Two Towers", eles também gostaram do filme "Lord of the Rings: The Return of the King". Este comportamento é observado em 5.59% das transações. Em 57,07% das vezes que os usuários gostaram do filme "Spider-man 2", eles também gostaram do filme "Forrest Gump". Este comportamento é observado em 12.11% das transações. Em 77,02% das vezes que os usuários gostaram do filme "Finding Nemo", eles também gostaram do filme "Pirates of the Caribbean: The Curse of the Black Pearl". Este comportamento é observado em 16.96% das transações.
  • 21. Resultados Exemplos de regras extraídas: Em 70,46% das vezes que os usuários gostaram do filme "A Beautiful Mind", eles também gostaram do filme "American Beauty". Este comportamento é observado em 11.97% das transações. Em 48,27% das vezes que os usuários gostaram do filme "The Sixth Sense", eles também gostaram do filme "Figth Club". Este comportamento é observado em 10.26% das transações. Em 51,81% das vezes que os usuários não gostaram do filme "Legally Blonde 2: Red, White & Blonde", eles também não gostaram do filme "The Stepford Wives". Este comportamento é observado em 8.94% das transações.
  • 22. Conclusões • Existem muitas ferramentas disponíveis para mineração de dados. A aplicabilidade destas técnicas é mais ampla do que se imagina. • Foram extraídas regras de associação interessantes de uma base real, considerando a qualificação dos usuários. • Isoladamente, as regras extraídas não devem ser usadas para recomendar produtos. Mas, as relações obtidas são potencialmente úteis na composição de um sistema de recomendação.
  • 23. Referências • Veloso, Adriano; Borges, Alex; Maia, Marcelo. Compressão aplicada à mineração de padrões frequentes • Koren, Yehuda. Collaborative filtering with Temporal Dynamics • Meira Jr., Wagner; J. Zaki, Mohammed. Fundamentals of Data Mining Algorithms • Netflix Prize. http://www.netflixprize.com/ • Netflix. http://www.netflix.com/