Sistemas de recomendação

5,253 views

Published on

Sistemas de Busca e Sistemas de Recomendação, introdução e tendências.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
5,253
On SlideShare
0
From Embeds
0
Number of Embeds
46
Actions
Shares
0
Downloads
235
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Sistemas de recomendação

  1. 1. SISTEMAS DE BUSCA SISTEMAS DE RECOMENDAÇÃO Leonardo Rosa Zanette [email_address] Julho de 2008
  2. 2. RESUMO <ul><li>Introdução </li></ul><ul><li>Sistemas de Busca </li></ul><ul><li>Sistemas de Recomendação </li></ul><ul><li>Coleta de Informações </li></ul><ul><li>Estratégias de Recomendação </li></ul><ul><li>Técnicas de Recomendação </li></ul><ul><li>Conclusões e Tendências </li></ul>
  3. 3. INTRODUÇÃO <ul><li>Com a quantidade e disponibilidade de informações no mundo de hoje, as pessoas se deparam com uma diversidade muito grande de opções. </li></ul><ul><li>Impossível encontrar informações relevantes em tempo hábil </li></ul><ul><li>Como encontrar o que interessa? </li></ul><ul><ul><li>Esforço próprio </li></ul></ul><ul><ul><li>Sorte </li></ul></ul><ul><ul><li>Recomendação de amigos </li></ul></ul>
  4. 4. INTRODUÇÃO: SOBRECARGA DE INFORMAÇÕES <ul><li>Soluções: </li></ul><ul><ul><li>Sistemas de busca </li></ul></ul><ul><ul><li>Filtragem da informação </li></ul></ul><ul><ul><li>Sistemas de recomendação </li></ul></ul>
  5. 5. SISTEMAS DE BUSCA NECESSIDADE DA INFORMAÇÃO <ul><li>Procura por item conhecido </li></ul><ul><li>Procura por um item existente </li></ul><ul><li>Procura exploratória </li></ul><ul><li>Procura ampla (pesquisa) </li></ul>
  6. 6. SISTEMAS DE BUSCA FUNCIONAMENTO <ul><li>http://semanticstudios.com/publications/semantics/search.html </li></ul>
  7. 7. SISTEMAS DE BUSCA PROBLEMAS <ul><li>A busca da informação não é feita em um único passo, a não ser a busca por um item conhecido. </li></ul><ul><li>O usuário busca uma informação, aprende como resultado e refina sua busca. </li></ul><ul><li>Normalmente é difícil ao usuário encontrar tudo que necessita numa única vez porque ele não conhece o suficiente sobre o tópico para fazer a pergunta certa. </li></ul><ul><li>Encontrar uma “agulha no palheiro” </li></ul>
  8. 8. SISTEMAS DE BUSCA PROBLEMAS
  9. 9. SISTEMAS DE BUSCA FUTURO <ul><li>Clusty ( www.clusty.com ) - Ele analisa os primeiros links (entre 200 a 500) que resultaram de uma busca do usuário e mostra os principais temas, agrupados por pastas e subpastas </li></ul>
  10. 10. SISTEMAS DE BUSCA FUTURO <ul><li>O SearchMash ( www.searchmash.com ) é uma iniciativa do Google. Numa pesquisa típica, uma barra lateral permite estendê-la a consultas relacionadas a imagens, a blogs, a vídeos e a wikipedia, num único clique. </li></ul>
  11. 11. SISTEMAS DE BUSCA FUTURO <ul><li>http://www.msdewey.com/ </li></ul>
  12. 12. SISTEMAS DE RECOMENDAÇÃO
  13. 13. O QUE SÃO SISTEMAS DE RECOMENDAÇÃO? <ul><li>Sistemas de Recomendação são definidos como sistemas que procuram auxiliar indivíduos a identificarem conteúdos de interesse em um conjunto de opções que poderiam caracterizar uma sobrecarga . São sistemas que procuram facilitar a penosa atividade de busca por conteúdo interessante . </li></ul><ul><li>Recomendação de produtos e serviços </li></ul><ul><li>Recomendação de usuários é conhecida como combinação social </li></ul>
  14. 14. EVOLUÇÃO: LINHA DO TEMPO Sistemas de Filtragem Cooperativa - Tapestry [Goldberg et al. 1992] 1992 Sistemas de Recomendação - CACM [Resnick & Varian 1997] 1997 Eixos de Pesquisa [Terveen & Hill 2001] 2001 Sistemas de Auxílio à recomendações Sistemas de Geração de recomendações Sistemas de Reputação [Resnick et al. 2000] Sist. de Combinação Social [Terveen & McDonald 2005] 1994 GroupLens [Resnick et al. 1994] 1995 Ringo/Firefly [Shardanand & Maes 1995] UsenetNews [Maltz & EHRLICH, 1995] 2000 2005
  15. 15. Taxonomia para Aplicações de Recomendação Entradas da Comunidade Atributo dos Itens Itens Externos Popularidade Histórico de Recomendações Aceitas Avaliações Comentários textuais Método de Recomendação Recuperação da Informações brutas Seleção Manual Resumo Estatístico Baseado em Atributo Correlação Item a Item Correlação Usuário a Usuário Entradas do Usuário Navegação implícita Navegação Explícita Palavra-chave Atributos Avaliações ( Ratings ) Histórico do Comportamento do Usuário Recomendação Sistema Entregas Push Pull Passivo Nível de Personalização Não personalizada Efêmera Persistente Feedback/ respostas Feedback/ respostas Saídas Sugestões Previsões Avaliações Revisões Schafer, Konstan e Riedl, 2000
  16. 16. COLETA DE INFORMAÇÕES Identificação Entrada dos usuários Entrada da comunidade
  17. 17. COLETA DE INFORMAÇÕES: IDENTIFICAÇÃO DO USUÁRIO <ul><li>No servidor: Login </li></ul><ul><li>No cliente: Cookie </li></ul>
  18. 18. COLETA DE INFORMAÇÕES: EXPLÍCITA <ul><li>Na modalidade de coleta explícita o usuário indica espontaneamente o que lhe é importante </li></ul><ul><li>Dados fornecidos pela pessoa, crítica ou rating; keywords usadas, atributos escolhidos. </li></ul>
  19. 19. COLETA DE INFORMAÇÕES: EXPLÍCITA <ul><li>Desvantagem </li></ul><ul><ul><li>Exige paciência e atenção dos usuários </li></ul></ul>
  20. 20. COLETA DE INFORMAÇÕES IMPLÍCITA <ul><li>Interesses Implícitos </li></ul><ul><li>Cada interação com o usuário contribui para um sistema de coleta de interesses implícitos </li></ul><ul><li>Ações que indicam interesse: </li></ul><ul><li>Colocar uma página nos Favoritos </li></ul><ul><li>Visualizar página por longo tempo </li></ul>
  21. 21. COLETA DE INFORMAÇÕES IMPLÍCITA <ul><li>Análise de log </li></ul><ul><li>Acessos por mês, dia, hora </li></ul><ul><li>Páginas visualizadas </li></ul><ul><li>Páginas mais populares </li></ul><ul><li>Sites que remeteram ao site analisado </li></ul><ul><li>País do visitante </li></ul>
  22. 22. COLETA DE INFORMAÇÕES IMPLÍCITA <ul><li>Desvantagem </li></ul><ul><ul><li>Posso comprar um presente para outra pessoa </li></ul></ul><ul><ul><li>Pode acessar de vários lugares </li></ul></ul><ul><ul><li>Família utiliza o mesmo acesso </li></ul></ul>
  23. 23. ESTRATÉGIAS DE RECOMENDAÇÃO <ul><li>Top-N ou Lista de recomendações </li></ul><ul><li>Comentários em texto </li></ul><ul><li>Avaliação de usuários </li></ul><ul><li>Associação de usuários </li></ul><ul><li>Associação por Conteúdo </li></ul><ul><li>Cross-sell </li></ul><ul><li>E-mail </li></ul>
  24. 24. GRAU DE PERSONALIZAÇÃO <ul><li>Não personalizada </li></ul><ul><li>Quando uma aplicação oferece as mesmas recomendações para todos os usuários. </li></ul><ul><li>Efêmera </li></ul><ul><li>Sistemas que utilizam as informações correntes de um usuário para personalizar a recomendação. Itens no carrinho de compras e itens “vistos” são utilizados para personalizar. </li></ul><ul><li>Persistente </li></ul><ul><ul><li>Utilizam informações armazenadas sobre as preferências dos usuários. </li></ul></ul>
  25. 25. APRESENTAÇÃO DA RECOMENDAÇÃO <ul><li>Refere-se à forma como a recomendação é apresentada </li></ul><ul><li>Push </li></ul><ul><li>recomenda itens sem que o usuário tenha que estar interagindo com o sistema </li></ul><ul><li>ex.: e-mail de ofertas especiais </li></ul><ul><li>Pull </li></ul><ul><li>usuário solicita pela recomendação. Permite que os usuários controlem quando suas recomendações serão exibidas. </li></ul><ul><li>ex.: ”recomendações para você” </li></ul><ul><li>Passiva </li></ul><ul><li>recomendações aparecem no contexto do site. </li></ul><ul><li>ex.: itens mais vendidos </li></ul>
  26. 26. ESTRATÉGIAS DE RECOMENDAÇÃO: TOP-N OU LISTA DE RECOMENDAÇÕES <ul><li>Esta estratégia consiste em manter listas organizadas por tipos de interesses </li></ul><ul><li>Itens mais vendidos, Idéias para presentes, … </li></ul><ul><li>Não personalizada </li></ul><ul><li>Passiva </li></ul>
  27. 27. ESTRATÉGIAS DE RECOMENDAÇÃO: TOP-N OU LISTA DE RECOMENDAÇÕES <ul><li>Itens mais vendidos </li></ul>
  28. 28. ESTRATÉGIAS DE RECOMENDAÇÃO: TOP-N OU LISTA DE RECOMENDAÇÕES <ul><li>Lista de Presentes </li></ul>
  29. 29. ESTRATÉGIAS DE RECOMENDAÇÃO: TOP-N OU LISTA DE RECOMENDAÇÕES <ul><li>Vantagem </li></ul><ul><li>A principal vantagem neste tipo de estratégia está na facilidade de implementação . </li></ul><ul><li>Desvantagem </li></ul><ul><li>As recomendações não são dirigidas a cada usuário independentemente, mas sim a todos os usuários sem distinção. </li></ul>
  30. 30. ESTRATÉGIAS DE RECOMENDAÇÃO: COMENTÁRIOS EM TEXTO <ul><li>Comentários de outros usuários. Ajuda a criar uma imagem forte do produto junto ao usuário. </li></ul>
  31. 31. ESTRATÉGIAS DE RECOMENDAÇÃO: AVALIAÇÃO DE USUÁRIOS <ul><li>Uma das estratégias mais utilizadas em sistemas de recomendação são as avaliações dos usuários que asseguram outros consumidores da qualidade e utilidade dos produtos. </li></ul>
  32. 32. ESTRATÉGIAS DE RECOMENDAÇÃO: ASSOCIAÇÃO DE USUÁRIOS <ul><li>Recomenda itens baseado na correlação entre um usuário e outros que se interessam pelo mesmo item </li></ul>
  33. 33. ESTRATÉGIAS DE RECOMENDAÇÃO: ASSOCIAÇÃO POR CONTEÚDO (PERSISTENTE)
  34. 34. ESTRATÉGIAS DE RECOMENDAÇÃO: ASSOCIAÇÃO POR CONTEÚDO (EFÊMERA) <ul><li>Cross-Sell </li></ul><ul><li>Efêmera </li></ul><ul><li>A partir de um produto que o usuário esteja consultando, sugere-se outros produtos do mesmo autor, compositor, etc. </li></ul>
  35. 35. E-MAIL <ul><li>Mala direta personalizada baseada nos itens anteriormente comprados ou áreas do site mais visitadas. </li></ul>
  36. 36. TÉCNICAS DE RECOMENDAÇÃO Filtragem Baseada em Conteúdo Filtragem Colaborativa Filtragem Híbrida Redes Sociais
  37. 37. TÉCNICAS PARA GERAR RECOMENDAÇÕES Filtragem Híbrida FBC FCA Redes Sociais Mineração de Dados/Textos Regras de Associação Classificação Agrupamento (cluster) Redes Bayesianas Similaridade de Vetores Folksonomy Ontologias Correlação (Pearson) RC Combinação
  38. 38. FILTRAGEM BASEADA EM CONTEÚDO <ul><li>Analisa o conteúdo dos itens e faz recomendações com base em: </li></ul><ul><ul><li>Informações contidas no perfil do usuário. </li></ul></ul><ul><ul><li>Interesses identificados através de ações do usuário (seleção, aquisição de itens, avaliações) </li></ul></ul><ul><li>Implementação </li></ul><ul><ul><li>Correlação item a item </li></ul></ul><ul><ul><li>Recomendação baseada em atributo </li></ul></ul><ul><li>Limitações </li></ul><ul><ul><li>Dificuldade para analisar conteúdos de dados pouco estruturados (vídeo e som) </li></ul></ul><ul><ul><li>Dificuldade para diferenciar sinônimos </li></ul></ul>
  39. 39. FILTRAGEM BASEADA EM CONTEÚDO ERRO FATAL
  40. 40. FILTRAGEM COLABORATIVA <ul><li>Não exige a compreensão ou reconhecimento do conteúdo dos itens. </li></ul><ul><li>Complementa as limitações da FBC: Itens são filtrados com base nas avaliações feitas pelos usuários. </li></ul><ul><li>Cada usuário se beneficia das pontuações (experiências) apresentadas por outros usuários. </li></ul><ul><li>Pontuação permite identificar que itens são considerados de interesse pelo grupo e evitar itens de pouco interesse. </li></ul>
  41. 41. FILTRAGEM COLABORATIVA <ul><li>Baseado na heurística de que pessoas que concordaram no passado tendem a concordar no futuro, o sistema correlaciona avaliações de itens anteriores para determinar pesos que serão associados às pessoas na hora em que forem feitas as predições. </li></ul>Sistema de Recomendação
  42. 42. FILTRAGEM COLABORATIVA Recomendação tradicional Avalie o artefato item 16 Usuário item 13 item 15 item 16 item 22 item 38 item 48 u10 3   4 5   4 u11       4 3 3 u12   5     5   u26 3 4         u23 4     3 3  
  43. 43. FILTRAGEM COLABORATIVA Recomendação tradicional Coeficiente de Pearson R Correlação entre usuários Usuário Alvo Pearson u10 u11 0,38 u10 u12 - u10 u23 -0,46 u10 u26 0,86 u11 u12 0,45 u11 u23 -0,11 u11 u26 0,80 u12 u23 -0,76 u12 u26 - u23 u26 0,56
  44. 44. FILTRAGEM COLABORATIVA Recomendação tradicional Usuário item 13 item 15 item 16 item 22 item 38 item 48 u10 3   4 5 4,12 4 u11 2,57 3,53 3,3 4 3 3 u12   5     5   u26 3 4   4,51 4 4,23 u23 4     5 3 2
  45. 45. FILTRAGEM COLABORATIVA <ul><li>Limitações: </li></ul><ul><li>Novo item </li></ul><ul><ul><li>Sem avaliações não pode ser recomendado </li></ul></ul><ul><li>Novo usuário </li></ul><ul><ul><li>Muitas avaliações para receber recomendações </li></ul></ul><ul><li>Super-especialização </li></ul><ul><ul><li>Item muito valorizado devido a muitas avaliações </li></ul></ul>
  46. 46. REDES SOCIAIS REDE DE CONFIANÇA <ul><li>Segue a idéia de que quando pedimos a um amigo confiável uma opinião sobre algo, estamos tendo a opinião confiável para nos ajudar a formar nosso pensamento preliminar sobre essa coisa. </li></ul><ul><li>Recomendações feitas com base nas relações entre os usuários da comunidade </li></ul>
  47. 47. REDE DE CONFIANÇA PROPOSTA PARA LIMITAÇÕES Recomendação tradicional Rede de confiança Confio em U5 Usuário ConfiaEm Área Nível U1 U5 Filme 3 U1 U6 SQL 1 U2 U4 Redes 0 U2 U7 Filme 3 U6 U9 Filme 3 U7 U3 Filme 2
  48. 48. REDE DE CONFIANÇA Recomendação tradicional Rede de confiança 3 2 2 3 ? 2 U1 U5 U6 U9 Usuário ConfiaEm Confiança U1 U5 3 U1 U6 1 U2 U4 0 U2 U7 3 U6 U9 3 U7 U3 2
  49. 49. REDE DE CONFIANÇA ACTIVUFRJ <ul><li>Subjetiva </li></ul><ul><li>Contextualizada </li></ul><ul><li>Assimétrica </li></ul>
  50. 50. RECOMENDAÇÕES ACTIVUFRJ <ul><li>Recomendações pela união da Filtragem Colaborativa com a Rede de Confiança </li></ul><ul><li>Persistente com ajustes </li></ul><ul><li>Push </li></ul>
  51. 51. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS
  52. 52. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS <ul><li>Musicovery : http://www.musicovery.com/ </li></ul>
  53. 53. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS <ul><li>LivePlasma: www.liveplasma.com – recomendações através da similaridade entre os filmes favoritos dos usuários da comunidade </li></ul>
  54. 54. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS <ul><li>Last.fm – recomendação de músicas pela combinação social dos membros da comunidade (tags, amigos, mais ouvidos, artistas parecidos) </li></ul>
  55. 55. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS <ul><li>Google maps http://maps.google.com </li></ul>
  56. 56. SISTEMAS DE RECOMENDAÇÃO TENDÊNCIAS <ul><li>Outros sistemas sociais de recomendação </li></ul>
  57. 57. VÍDEO <ul><li>http://www.youtube.com/watch?v=xj8ZadKgdC0 </li></ul>
  58. 58. TÉCNICAS PARA IMPLEMENTAR A FCA <ul><li>Correlação de pearson </li></ul><ul><li>Redes Bayesianas </li></ul><ul><li>Modelos de Agrupamento (clustering): K-means, C-means (lógica fuzzy) </li></ul><ul><li>Similaridades de Vetores </li></ul>BREESE, J. S., HECKERMAN, D., KADIE, C. Empirical Analysis of Predictive Algorithms for Collaborative Filtering . Technical Report, 1998. Referência sugerida
  59. 59. TÉCNICAS PARA IMPLEMENTAR A FCA <ul><li>Novas técnicas para implementar a FCA incluem a aplicação de medidas de reputação e confiança como peso para os vizinhos mais próximos. </li></ul><ul><li>Objetivo: gerar predições de recomendação mais confiáveis. </li></ul>O'DONOVAN, J.; SMYTH, B. Trust in Recommender Systems . Proceedings of the 10th International Conference on Intelligent User Interfaces - IUI’05. p. 167-174, January 9–12, 2005. San Diego, California, USA. Referência sugerida

×